当前信息时代在互联网上产生的数据的指数增长是数字经济的推动力。信息提取是累积大数据中的主要价值。对统计分析和手工设计的规则机器学习算法的大数据依赖性被人类语言固有的巨大复杂性所淹没。自然语言处理（NLP）正在装备机器，以了解这些人类多样化和复杂的语言。文本分类是一个NLP任务，它会自动识别基于预定义或未定标记的集合的模式。常见的文本分类应用程序包括信息检索，建模新闻主题，主题提取，情感分析和垃圾邮件检测。在文本中，某些单词序列取决于上一个或下一个单词序列以使其充分含义。这是一项具有挑战性的依赖性任务，要求机器能够存储一些以前的重要信息以影响未来的含义。诸如RNN，GRU和LSTM之类的序列模型是具有长期依赖性任务的突破。因此，我们将这些模型应用于二进制和多类分类。产生的结果非常出色，大多数模型在80％和94％的范围内执行。但是，这个结果并不详尽，因为我们认为如果机器要与人类竞争，可以改进。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
从数据中学习的定向无环图（DAG）的组合问题最近被构成了纯连续优化问题，它通过基于矩阵指数函数的痕迹利用DAG的可区分无环表征。现有的无环特征基于以下想法：邻接矩阵的功率包含有关步行和周期的信息。在这项工作中，我们提出了一个基于log-determinant（log-det）函数的$ \ textit {根本不同的} $ acyclicity表征，该功能利用了dags的nilpotency属性。为了处理DAG的固有不对称性，我们将日志数据表征的域与$ \ textit {m-matrices} $的集合联系起来，这是与锥体定义的经典日志函数的关键区别积极的矩阵。与先前提出的无环函数相似，我们的表征也是精确且可区分的。但是，与现有特征相比，我们的对数数据函数：（1）更好地检测大周期； （2）行为更好的梯度； （3）它的运行时间在实践中的数量级更快。从优化侧，我们删除了典型的增强拉格朗日方案，并提出了Dagma（$ \ textit {ocyclicity} $的M-矩阵{textIt {定向无环形图），这种方法类似于屏障方法的中心路径。 DAGMA的中心路径中的每个点都是通过我们的log-det函数正常的无约束问题的解决方案，然后我们证明在中心路径的极限下，保证解决方案是DAG。最后，我们为$ \ textit {linear} $和$ \ textit {nonlinear} $ sem提供了广泛的实验，并证明我们的方法可以达到针对最先进方法的大加速和较小的结构锤距。
translated by 谷歌翻译
牙科时代是确定个人年龄的最可靠方法之一。通过使用牙科全景射线照相（DPR）图像，法医科学中的医师和病理学家试图建立没有有效法律记录或注册患者的个人的年代年龄。实践中当前的方法需要密集的劳动，时间和合格的专家。在医学图像处理领域，深度学习算法的发展提高了预测真实价值的敏感性，同时降低了成像时间的处理速度。这项研究提出了一种自动化方法，以使用1,332个DPR图像估算8至68岁的个体的法医年龄。最初，使用基于转移学习的模型进行了实验分析，包括InceptionV3，Densenet201，EdgitionNetB4，MobilenetV2，VGG16和Resnet50V2；因此，修改了表现最好的模型InceptionV3，并开发了新的神经网络模型。减少开发模型体系结构中已经可用的参数数量，从而更快，更准确。所达到的结果的性能指标如下：平均绝对误差（MAE）为3.13，均方根误差（RMSE）为4.77，相关系数r $ $^2 $为87％。可以想象将新模型作为法医学和牙科医学中的潜在可靠和实用的辅助设备。
translated by 谷歌翻译
提取手写文本是数字化信息的最重要组成部分之一，并使其可用于大规模设置。手写光学角色读取器（OCR）是计算机视觉和自然语言处理计算的研究问题，对于英语，已经完成了许多工作，但是不幸的是，对于乌尔都语（例如乌尔都语）的低资源语言，几乎没有完成工作。乌尔都语语言脚本非常困难，因为它具有基于其相对位置的角色形状的草书性质和变化，因此，需要提出一个模型，该模型可以理解复杂的特征并将其推广到各种手写样式。在这项工作中，我们提出了一个基于变压器的乌尔都语手写文本提取模型。由于变压器在自然语言理解任务中非常成功，因此我们进一步探索它们以了解复杂的乌尔都语手写。
translated by 谷歌翻译
涉及环境声音分析的音频应用越来越多地使用通用音频表示（也称为嵌入）进行转移学习。最近，对音频表示形式（HEAR）的整体评估评估了关于19个不同任务的29个嵌入模型。但是，评估的有效性取决于给定数据集中已经捕获的变化。因此，对于给定的数据域，尚不清楚表示形式如何受到由无数麦克风范围和声学条件引起的变化的影响 - 通常称为通道效应。我们的目标是扩展听力，以评估不变性以在这项工作中的渠道效果。为此，我们通过向音频信号注入扰动来模仿通道效应，并用三个距离测量方法测量新（扰动）嵌入的变化，从而使评估域依赖但不依赖于任务依赖性。结合下游性能，它有助于我们对嵌入方式对频道效果的鲁棒性进行更明智的预测。我们评估了两个嵌入 - Yamnet和OpenL3在单声道（Urbansound8K）和多音（Sonyc-ust）Urban数据集上。我们表明，在这种无关的评估中，一个距离度量不足。尽管FR \'Echet音频距离（FAD）与下游任务中的性能下降趋势相关，但我们表明我们需要与其他距离一起研究时尚，以清楚地了解对该时尚的整体效果扰动。就嵌入性能而言，我们发现OpenL3比Yamnet更强大，Yamnet与听觉评估保持一致。
translated by 谷歌翻译
情感分析是NLP中研究最广泛的应用程序之一，但大多数工作都集中在具有大量数据的语言上。我们介绍了尼日利亚的四种口语最广泛的语言（Hausa，Igbo，Nigerian-Pidgin和Yor \'ub \'a）的第一个大规模的人类通知的Twitter情感数据集，该数据集由大约30,000个注释的推文组成（以及每种语言的大约30,000个）（以及14,000尼日利亚猎人），其中包括大量的代码混合推文。我们提出了文本收集，过滤，处理和标记方法，使我们能够为这些低资源语言创建数据集。我们评估了数据集上的预训练模型和转移策略。我们发现特定于语言的模型和语言适应性芬通常表现最好。我们将数据集，训练的模型，情感词典和代码释放到激励措施中，以代表性不足的语言进行情感分析。
translated by 谷歌翻译
无人驾驶航空公司（UAV）成功地在许多应用领域中使用，例如军事，安全，监测，应急援助，旅游，农业和林业。本研究旨在从UAV获得的高分辨率图像自动在Siirt University Campus上的指定区域中计算树木。使用Adobe Photoshop的照片合并工具在地面站缝合在30米高的图像上获得的20％重叠。通过施加3x3中值和平均过滤器，将所得图像分别被释放并平滑。在某些区域生成由UAV捕获的空中图像的正极图之后，在这些地图上的不同对象的边界框标记在HSV（色调饱和值），RGB（红色绿色蓝色）和灰色的方式中标记。生成培训，验证和测试数据集，然后已经评估了使用各种机器学习算法与树检测相关的分类成功率。在最后一步中，通过获取实际的树编号来建立地面真理模型，然后通过将参考地面真理数据与所提出的模型进行比较来计算预测性能。认为已经为使用预定区域中的MLP分类器获得的平均精度率为87％的平均精度率已经实现了显着的成功。
translated by 谷歌翻译
Covid-19大流行，仍然是未知的，是一个重要的开放问题。有猜测蝙蝠是可能的起源。同样地，有许多密切相关的（电晕）病毒，例如SARS，发现通过练习圈传递。对潜在的载体和致命病毒发射器的不同主体的研究对于了解，减轻和预防当前和未来的流行性至关重要。在冠状病毒中，表面（S）蛋白或尖峰蛋白是确定宿主特异性的重要组成部分，因为它是病毒与宿主细胞膜之间的接触点。在本文中，我们将超过五千个冠状病毒的刺激蛋白序列分类，将它们分离成艾滋病，蝙蝠，骆驼，猪，人类和奶酪中明显宿主的集群，以命名几个。我们提出了一种基于众所周知的位置重量矩阵（PWM）的特征嵌入，我们呼叫PWM2VEC，并用于从这些冠状虫病毒的尖峰蛋白序列产生特征向量。虽然我们的嵌入受到PWMS在生物应用中的成功，例如确定蛋白质功能，或识别转录因子结合位点，但我们是在来自病毒序列的宿主分类的上下文中使用PWM的第一个（我们的知识）生成固定长度的特征矢量表示。现实世界数据的结果显示，与使用PWM2VEC，与基线模型相比，我们能够相当良好地执行。我们还使用信息增益来测量不同氨基酸的重要性，以显示对预测给定冠状病毒的宿主来说重要的氨基酸。
translated by 谷歌翻译
本文提出了一种称为前向组合传播（FCP）的算法，以说明在结构化模式识别问题上运行的前馈神经网络的预测。在所提出的FCP算法中，每个神经元由表示该神经元中的每个问题特征的作用的组合载体描述。使用给定的输入实例初始化构成向量，随后通过整个网络传播，直到我们到达输出层。值得一提的是，一旦完成网络的训练网络，就会执行该算法。每个组成值的符号指示相应的特征是否激发或抑制神经元，而绝对值会定量这种影响。旨在验证FCP算法的正确性，我们开发了一个关于偏见检测的案例研究，在其最先进的问题中，地面真理是已知的。仿真结果表明，构图值与保护特征的预期行为密切对齐。
translated by 谷歌翻译